Edward Dickinson Baker sinh ngày 24 tháng 2 năm 1811 tại Luân Đôn, Anh, bố là Edward Baker và mẹ là Lucy Dickinson Baker. Năm 1816, vì nhà nghèo nên cậu bé Edward Baker cùng gia đình rời Anh và di cư đến Hoa Kỳ, tơí Philadelphia, cha ông lập một trường học mới, Edward đi học của cha mình và đi học nghề. Năm 14 tuổi, gia đình rời Philadelphia và đi du lịch tới New Harmony, Indiana. Baker đã từng gặp Thống đốc Ninian Edwards, người đã cho phép Baker truy cập vào thư viện pháp luật riêng tư của mình. Sau đó, ông chuyển đến Carrollton, bang Illinois, nơi ông được nhận vào thanh năm 1830. Vào ngày 27 tháng 4 năm 1831, ông kết hôn với Mary Ann Foss; họ đã có năm đứa con với nhau nhưng không rõ tên.